Pseudo supervision is regarded as the core idea in semi-supervised learning for semantic segmentation, and there is always a tradeoff between utilizing only the high-quality pseudo labels and leveraging all the pseudo labels. Addressing that, we propose a novel learning approach, called Conservative-Progressive Collaborative Learning (CPCL), among which two predictive networks are trained in parallel, and the pseudo supervision is implemented based on both the agreement and disagreement of the two predictions. One network seeks common ground via intersection supervision and is supervised by the high-quality labels to ensure a more reliable supervision, while the other network reserves differences via union supervision and is supervised by all the pseudo labels to keep exploring with curiosity. Thus, the collaboration of conservative evolution and progressive exploration can be achieved. To reduce the influences of the suspicious pseudo labels, the loss is dynamic re-weighted according to the prediction confidence. Extensive experiments demonstrate that CPCL achieves state-of-the-art performance for semi-supervised semantic segmentation.

Deep transfer learning has been widely used for knowledge transmission in recent years. The standard approach of pre-training and subsequently fine-tuning, or linear probing, has shown itself to be effective in many down-stream tasks. Therefore, a challenging and ongoing question arises: how to quantify cross-task transferability that is compatible with transferred results while keeping self-consistency? Existing transferability metrics are estimated on the particular model by conversing source and target tasks. They must be recalculated with all existing source tasks whenever a novel unknown target task is encountered, which is extremely computationally expensive. In this work, we highlight what properties should be satisfied and evaluate existing metrics in light of these characteristics. Building upon this, we propose Principal Gradient Expectation (PGE), a simple yet effective method for assessing transferability across tasks. Specifically, we use a restart scheme to calculate every batch gradient over each weight unit more than once, and then we take the average of all the gradients to get the expectation. Thus, the transferability between the source and target task is estimated by computing the distance of normalized principal gradients. Extensive experiments show that the proposed transferability metric is more stable, reliable and efficient than SOTA methods.

在本文中，我们探讨了一个新的知识障碍问题，称为联合选择性聚合（FEDSA）。 FEDSA的目的是在几位分散的教师的帮助下培训学生模型，以完成一项新任务，他们的预培训任务和数据是不同且不可知的。我们调查此类问题设置的动机源于最近的模型共享困境。许多研究人员或机构已经在培训大型且称职的网络上花费了巨大的资源。由于隐私，安全或知识产权问题，他们也无法分享自己的预培训模型，即使他们希望为社区做出贡献。拟议的FEDSA提供了解决这一困境的解决方案，并使其更进一步，因为学识渊博的学生可以专门从事与所有老师不同的新任务。为此，我们提出了一种处理FEDSA的专门战略。具体而言，我们的学生培训过程是由一种新型的基于显着性的方法驱动的，该方法可以适应教师作为参与者，并将其代表性能力融入到学生中。为了评估FEDSA的有效性，我们在单任务和多任务设置上进行实验。实验结果表明，FEDSA有效地将分散模型的知识融合在一起，并将竞争性能达到集中式基准。

面部表达是传达人类情绪状态和意图的重要因素。尽管在面部表达识别任务（FER）任务中已经取得了显着进步，但由于表达模式的巨大变化和不可避免的数据不确定性而引起的挑战仍然存在。在本文中，我们提出了中级表示增强（MRE）和嵌入图形抑制（GUS）的图表，以解决这些问题。一方面，引入MRE是为了避免表达表示学习以有限数量的高度歧视模式主导。另一方面，引入GUS以抑制表示空间中的特征歧义。所提出的方法不仅具有更强的概括能力来处理表达模式的不同变化，而且具有更强的稳健性来捕获表达表示。对AFF-WILD2的实验评估已验证了该方法的有效性。

深层合作的多方强化学习已经证明了其在各种复杂的控制任务上取得了巨大的成功。但是，多学院学习的最新进展主要集中在价值分解上，而使实体交互仍然交织在一起，这很容易导致对实体之间的嘈杂相互作用过度拟合。在这项工作中，我们引入了一种新型的交互模式分离（OPT）方法，以将关节值函数不仅置于分散执行的代理值函数中，还将实体交互作用到交互原型中，每种都代表了潜在的交互作用模式在实体的子组中。 OPT促进了无关实体之间的嘈杂相互作用，从而显着提高了普遍性和可解释性。具体而言，OPT引入了稀疏分歧机制，以鼓励发现的相互作用原型之间的稀疏性和多样性。然后，该模型通过具有可学习权重的聚合器选择将这些原型重组为紧凑的交互模式。为了减轻部分可观察性引起的训练不稳定性问题，我们建议最大程度地提高聚合权重与每个代理的历史行为之间的相互信息。单任务和多任务基准的实验表明，所提出的方法得出的结果优于最先进的对应。我们的代码将公开可用。

尽管取得了令人鼓舞的结果，但最先进的交互式强化学习方案依赖于以连续监控或预定义的规则的形式从顾问专家那里获得监督信号，这不可避免地导致了繁琐而昂贵的学习过程。在本文中，我们介绍了一项新型的倡议顾问，在循环演员批判框架中被称为Ask-AC，该框架用双向学习者的实用主义者代替了单方面的顾问指导机制，从而实现了自定义的和有效的范围学习者和顾问之间的消息交换。 Ask-AC的核心是两个互补的组件，即动作请求者和自适应状态选择器，可以很容易地将其纳入各种离散的参与者 - 批判性架构中。前一个组件允许代理商在不确定状态的存在下首次寻求顾问干预，而后者则确定了前者可能遗漏的不稳定状态，尤其是在环境变化时，然后学会了促进对此类国家的询问行动。对固定环境和非平稳环境以及不同参与者 - 评分骨架的实验结果表明，所提出的框架显着提高了代理的学习效率，并与连续顾问监控获得的框架与表现相同。

化学反应预测，涉及正向合成和逆合合成预测，是有机合成中的一个基本问题。流行的计算范式将综合预测作为序列到序列翻译问题，其中采用典型的微笑来分子表示。然而，通用微笑忽略了化学反应的特征，其中分子图拓扑在很大程度上从反应物到产物不变，如果直接施加了笑容，则会导致微笑的次优性能。在本文中，我们提出了与根对准的微笑（R-Smiles），该微笑指定了产品和反应物微笑之间的紧密比对以进行更有效的合成预测。由于严格的一对一映射和降低的编辑距离，计算模型很大程度上免于学习复杂的语法，并致力于学习反应的化学知识。我们将提出的R-Smiles与各种最新基准进行比较，并表明它明显优于所有基准，这表明了所提出的方法的优越性。

虽然深度学习在电力系统的瞬态稳定性评估方面取得了令人印象深刻的进步，但不足和不平衡的样本仍然捕获数据驱动方法的培训效果。本文提出了一种基于条件平板生成的对冲网络（CTGAN）的可控样本生成框架，以产生指定的瞬态稳定性样本​​。为了适应瞬态稳定性样本​​的复杂特征分布，所提出的框架首先将样本模拟为表格数据，并使用高斯混合模型来标准化表格数据。然后我们将多个条件转换为单个条件向量，以实现多条件生成。此外，本文介绍了三个评估度量，以验证基于所提出的框架的产生样本的质量。 IEEE 39总线系统上的实验结果表明，该框架有效地平衡了瞬态稳定性样本​​，并显着提高了瞬态稳定性评估模型的性能。

最近，卷积神经网络（CNN）在分类任务中取得了良好的性能。众所周知，CNN被认为是“黑匣子”，这很难理解预测机制并调试错误的预测。开发了一些模型调试和解释工作，用于解决上述缺点。然而，这些方法专注于解释和诊断模型预测的可能原因，基于研究人员手动处理以下模型优化的模型预测。在本文中，我们提出了第一个完全自动模型诊断和治疗工具，称为模型医生。基于两个发现，每个类别只与稀疏和特定的卷积核相关，而2）在特征空间中逐次地隔离2）对逆势样本，设计了一个简单的聚合梯度约束，以便有效地诊断和优化CNN分类器。聚合渐变策略是用于主流CNN分类器的多功能模块。广泛的实验表明，拟议的模型医生适用于所有现有的CNN分类器，并提高16美元主流CNN分类器的准确性1％-5％。

图级表示学习是在整个图表上操作的下游任务的关键步骤。迄今为止，解决此问题的最常见方法是图形池，通常将节点特征取平均或求和以获取图表表示。但是，汇总操作如平均或总结不可避免地会导致大量信息缺失，这可能会严重降低最终性能。在本文中，我们认为对图形下游任务至关重要的是什么不仅包括拓扑结构，还包括对节点采样的分布。因此，由现有图形神经网络（GNN）提供动力，我们提出了一个新的插件池模块，称为分布知识嵌入（DKEPOOL），在其中，将图作为GNNS顶部的发行版改造为分布，池的目标是汇总目标。整个分发信息，而不是通过简单的预定池操作保留特定矢量。事实上，DKEPOOL网络将表示形式分为两个阶段，结构学习和分布学习。结构学习遵循递归邻域聚合方案，以更新获得结构信息的节点特征。另一方面，分布学习省略了节点互连，并更多地关注所有节点所描绘的分布。广泛的实验表明，提出的Dkepool显着且始终如一地优于最新方法。